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(57) Zusanunenfassung: Es werden eine Vorrichtung und ein Verfahren zur t)berwachung, Nachfuhrung und Bestimmung von 
wenigstens einem Kalibrierparameter der geometrischen Kalibrierung von wenigstens einem Bildsensor (12) vorgeschlagen, wobei 
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eine Bildsensor zur Oberwachung des Innenraumes (28) eines Kraftfahrzeuges verwendet 
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Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors 
Stand der Technik 

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Bestimmung von 
Kalibrierparametern eines Bildsensors. 

Kraftfahrzeughersteller planen den Einsatz von Sensorik, insbesondere von Bildsensoren, zur 
ttberwaqhung des Innenraumes eines Rraftfahrzeuges. Vorgesehen ist die Verwendung von 
Bildsensoren bei der intelligenten Airbagsteuerung. Im Rahmen der intelligenten 
Airbagsteuerung wird an der Klassifikation der Sitzbelegung im Kraftfahrzeug gearbeitet, um 
beispielsweise Verletzungen bei Kleinkindern durch die Auslosung des Airbags bei rtickwarts 
eingebauten Kindersitzen zu verhindern. Anderseits ist geplant, die Position von Korperteilen 
der Insassen, wie dem Kopf oder dem Rumpf, und/oder die Sitzhaltung der Insassen bezttglich 
des Airbags durch eine sogenannten „Out-of-Position Detektion" zu iiberwachen, um 
insbesondere Verletzungen durch zu dichte Positionierung des Kopfes am Airbagmodul bei 
dessen Auslosung zu verhindern. 

Beispielsweise ist aus der WO 01/60662 Al ein Verfahren und eine Vorrichtung zur 
Sitzbelegungserkennung mittels Videosensorik und FuBraumsensorik bekannt. Es wird 
vorgeschlagen, die KopfhShe einer auf einem Sitz befindlichen Person mit der Videosensorik zu 
erfassen, zusammen mit der FuBraumsensorik eine Klassifikation der Sitzbelegung 
durchzufuhren und in Abhangigkeit der Sitzbelegung den Airbag zu steuern. Hinweise auf eine 
Vorrichtung und ein Verfahren zur Bestimmung von Kalibrierparametern eines Bildsensors der 
Videosensorik fehlen in der WO 01/60662 Al. 
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Vorteile der Erfindung 

Die nachfolgend beschriebene Vorrichtung zur Bestimmung wenigstens eines 
Kalibrierparameters wenigstens eines Bildsensors, wobei bei einer erkannten Dekalibrierung des 
wenigstens einen Bildsensors wenigstens eine Verarbeitungseinheit den wenigstens einen 
Kalibrierparameter in Abhangigkeit von Bildsignalen bestimmt, die der wenigstens eine 
Bildsensor zumindest von wenigstens einem invarianten Muster ableitet, hat den Vorteil, dass 
eine Fehlfunktion wenigstens eines Bildsensors infolge von Dekalibrierungen erkannt und 
zus&tzlich automatisch korrigiert werden kann. Alternativ oder zusatzlich ist es vorteilhaft, eine 
erkannte Dekalibrierung wenigstens einem nachfolgenden System und/oder dem Fahrer 
(Bediener) des Kraftfahrzeuges zu melden. Die automatische Oberwachung der Kalibrierung 
tragt in vorteilhafter Weise zu einer zuverlassigen Funktion von Bildsensoren bei und 
ermdglicht hierdurch insbesondere einen Einsatz von Bildsensoren fur sicherheitskritische 
Anwendungen im Kraftfahrzeuginnenraum. 

Ferner wird in vorteilhafter Weise der Aufwand der Montage des wenigstens einen Bildsensors 
im Kraftfahrzeug durch die automatische Bestimmung wenigstens eines Kalibrierparameters 
verringert Hierdurch entfallt die Notwendigkeit spezielle Kalibrierverfahren wahrend der 
Fertigung des Kraftfahrzeuges und/oder bei Reparaturarbeiten durchzufuhren. Ferner tragt die 
Vorrichtung dazu bei, dass enge Fertigungstoleranzen, die ohne die nachfolgend beschriebene 
Vorrichtung zur Einhaltung von Kalibrierparametern spezifiziert werden miissten, vergroBert 
werden konnen. Hieraus ergibt sich eine besonders vorteilhafte Kostensenkung bei der 
Fertigung und/oder der Reparatur eines Kraftfahrzeuges. Zusammenfassend ist die nachfolgend 
beschriebene Vorrichtung in vorteilhafter Weise fur den Serieneinsatz von Bildsensoren bei 
sicherheitskritischen Anwendungen in Kraftfahrzeugen, insbesondere bei einer intelligenten 
Airbagsteuerung, geeignet, da Fehlfimktionen der Bildsensoren insbesondere in Form einer 
Dekalibrierung erkannt werden. 

Besonders vorteilhaft ist die Bildung des wenigstens einen invarianten Musters durch 
wenigstens ein zur Bestimmung des wenigstens einen Kalibrierparameters in der Szene 
angebrachtes Bezugsobjekt Vorteilhaft ist die Nutzung von signalisierten Bezugsobjekten zur 
Kalibrierung wenigstens eines Bildsensors. Besonders vorteilhaft sind die signalisierten 
Bezugsobjekte im Innenraum von Kraftfahrzeugen. Signalisierte Bezugsobjekte haben den 
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Vorteil, dass sie von der Sensorik einfach erfassbar sind und durch die Signalisierung mit 
Mitteln der Signalverarbeitung in den Messdaten zuverlassig identiflzierbar sind. 

Vorteilhafl ist, wenn die Signalisierung der Bezugsobjekte durch eine besondere Helligkeit 
erreicht wird, entweder aktiv durch Leuchtmittel, wie LED-Dioden und/oder Infrarot- 
Leuchtdioden, und/oder passiv durch Oberflachen hoher Reflektivitat 

(Ruckstrahlungsvermogen, Albedo). Besondere Vorteile weisen daher Bezugsobjekte auf, die 
als Leuchtmittel, insbesondere als Leuchtdiode (LED-Dioden), ausgestaltet sind und/oder die 
eine hohe Reflektivitat haben. Derart gestaltete Bezugsobjekte tragen zu einer einfachen 
Erfassbarkeit des wenigstens einen invarianten Musters durch die Verarbeitungseinheit bei. 

Ferner ist von Vorteil, wenn die Signalisierung des wenigstens einen Bezugsobjektes durch eine 
besondere Form erreicht wird. Besonders vorteilhafl sind Bezugsobjekte, die eine geometrische 
Form haben, wie beispielsweise einen Punkt und/oder einen Kreis und/oder ein Dreieck 
und/oder ein Viereck und/oder ein Quadrat. Alternativ oder zusatzlich sind Buchstaben und/oder 
Schriftzuge und/oder Logos als Bezugsobjekte vorteilhafl. Dies tragt zu einer einfachen 
Identifizierbarkeit des wenigstens einen invarianten Musters in den Bildsignalen bei. 

Vorteilhafl ist ferner die Anordnung von Bezugsobjekten zu wenigstens einem 
zweidimensionalen (2D) und/oder wenigstens einem dreidimensionalen (3D) invarianten 
Muster, wobei das Muster eine geometrische Form, wie beispielsweise ein Kreuz und/oder ein 
Rreis und/oder einen Schriftzug, aufweist. Besonders vorteilhafl ist diese Variante der 
nachfolgend beschriebenen Vorrichtung in Verbindung mit signalisierten Bezugsobjekten, 
insbesondere mit durch Leuchtmittel, wie Leuchtdioden, signalisierten Bezugsobjekten. Dies 
tragt dazu bei, dass das wenigstens eine invariante Muster durch die Verarbeitungseinheit 
einfach wiedererkannt und gegebenenfalls verschiedene invariante Muster voneinander 
unterschieden werden konnen. 

Besonders vorteilhafl ist, wenn das wenigstens eine Bezugsobjekt auf wenigstens einem 
bezliglich der Oberwachungsfunktion des wenigstens einen Bildsensors relevanten Objekt der 
Szene angebracht ist. Insbesondere bei der Verwendung der Vorrichtung in einem Kraftfahrzeug 
ist es besonders vorteilhafl, wenn sich wenigstens ein bekanntes Bezugsobjekt und/oder ein 
invariantes Muster (Bezugsmuster) auf wenigstens einem fttr eine jeweilige Anwendung 
relevanten Objekt, wie beispielsweise der Airbag-Klappe und/oder dem eigentlichen Airbag 
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und/oder dem Lenkrad, befindet. Dies erm6glicht die Abstandmessung zwischen wenigstens 
einem oder mehreren dieser relevanten Objekte und anderen, auch nicht signalisierten Objekten 
im Kraftfahrzeuginnenraum, ohne dass die Lage und Ausrichtung der Sensorik, also des 
wenigstens einen Bildsensors, zu diesem wenigstens einem relevanten Objekt a priori, 
beispielsweise durch Vermessung mit einem weiteren Sensor, bekannt sein muss. 

Vorteilhaft ist ferner, wenn das wenigstens eine invariante Muster alternativ oder zusatzlich 
durch wenigstens ein naturlich vorkommendes Objekt der Szene gebildet wird. Besonders 
vorteilhaft ist, wenn zum Zweck der Kalibrierung die Lage von bauartbedingt im Kraftfahrzeug 
vorhandenen Objekten in den Bildsignalen iiberwacht und verfolgt wird. Bauartbedingt im 
Kraftfahrzeug vorhandene Objekte sind beispielsweise wenigstens ein Tiirholm und/oder 
wenigstens erne Armatur und/oder wenigstens ein Himmel des Kraftfahrzeugdaches. 

Vorteilhaft ist die nachfolgend beschriebene Vorrichtung zur Bestimmung wenigstens eines 
Kalibrierparameters wenigstens eines CMOS-Bildsensors und/oder wenigstens eines CCD- 
Bildsensors und/oder wenigstens eines monokularen Bildsensors und/oder wenigstens einer 
Stereokamera und/oder wenigstens eines tiefenbildgebenden Bildsensors. 

Die vorstehend beschriebenen Vorteile der Vorrichtung gelten entsprechend fur das Verfahren 
zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines Bildsensors. 

Besonders vorteilhaft ist ein Computerprogramm mit Programmcodemitteln, urn alle Schritte 
oder zumindest die wesentlichen Schritte des nachfolgend beschriebenen Verfahrens 
durchzufUhren, wenn das Programm auf einem Computer ausgefiihrt wird. Die Verwendung 
eines Computerprogramms ermflglicht die schnelle und kostengunstige Anpassung des 
Verfahrens an unterschiedliche invariante Muster und/oder unterschiedliche Szenen, 
insbesondere unterschiedliche Innenraume von Kraftfahrzeugen. 

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausflihrungsbeispielen 
mit Bezug auf die Figuren und aus den abhangigen Patentanspriichen. 



Zeichnung 
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Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausfuhrungsformen 
naher erlautert 

Es zeigen: 

Figur 1 eine Ubersichtszeichnung, 
Figur 2 ein Blockdiagramm, 

Figur 3 eine Obersichtszeichnung des bevorzugten Ausfiihrungsbeispiels, 
Figur 4 ein Ablaufdiagramm, 

Figur 5 eine tJbersichtszeichnung eines weiteren Ausfiihrungsbeispiels. 
Beschreibung von Ausfiihrungsbeispielen 

Nachfolgend werden eine Vorrichtung und ein Verfahren zur Uberwachung, Nachflihrung und 
Bestimmung von wenigstens einem Kalibrierparameter der geometrischen Kalibrierung von 
wenigstens einem Bildsensor beschrieben, wobei der wenigstens eine Bildsensor derart 
konfiguriert ist, dass er eine in Teilen gleichbleibende Szene uberwacht. In einem 
Ausfiihrungsbeispiel wird der wenigstens eine Bildsensor zur Uberwachung des Innenraumes 
eines Kraftfahrzeuges verwendet. 

Beim Einsatz von Bildsensoren im Rahmen der intelligenten Airbagsteuerung im 
Fahrzeuginnenraum, insbesondere bei der Klassifikation der Sitzbelegung und/oder der Out-Of- 
Position Detektion, ist die Herstellung einer geometrischen Lagerelation zwischen Messdaten 
und Fahrzeuginnenraum, also beispielsweise der Karosse und/oder dem Airbagmodul, 
notwendig. Hierzu sind zwei unterschiedliche Vorgehensweisen denkbar. Zum einen ist es 
moglich, durch ein mathematisches Modell explizit die Messwerterfassung zu beschreiben. Das 
mathematische Modell enthalt numerische Kalibrierparameter, welche die Lage des wenigstens 
einen Bildsensors bezuglich des Kraftfahrzeuges beschreiben (extrinsische Kalibrierparameter 
der extrinsischen Kalibrierung) und/oder numerische Kalibrierparameter, welche die 
Messwerterfassung im wenigstens eine Bildsensor charakterisieren (intrinsischen 
Kalibrierparameter der intrinsischen Kalibrierung). Intrinsische Kalibrierparameter sind 
beispielsweise wenigstens eine Kamerakonstante und/oder wenigstens ein Kamerahauptpunkt 
und/oder wenigstens ein Verzeichnisparameter. Bei der zweiten Vorgehensweise erfolgt eine 
direkte Auswertung der Messdaten, beispielsweise iiber einen Klassifikator. Dabei existieren 
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explizit keine numerischen Kalibrierparameter im Gesamtsystem Bildsensor und Auswertung. 
Zur Klassifikation wird in der Verarbeitungseinheit ein lernfahiger Klassifikator, beispielsweise 
ein neuronales Netz, verwendet. Der Klassifikator wird zunachst trainiert. Hierzu werden mit 
dem Sensor verschiedene Sitzbelegungen, beispielsweise Sitz leer und/oder Kindersitz, 
aufgenommen und zur Situation manuell die gewollten, korrekten Entscheidung, wie 
beispielsweise Sitz leer, gespeichert. Die Messdaten mit korrekter Entscheidung werden dem 
Klassifikator mitgeteilt, der hieraus Daten fiir die Klassifikation extrahiert (Anlernen des 
neuronalen Netzes). Im spateren Einsatz wird der Klassifikator aus ankommenden Messdaten 
eine Entscheidung ableiten. Ober die Geometrie und die Kalibrierung weiJJ der Klassifikator 
nichts. Wenn der Bildsensor seine Lage im Kraftfahrzeug andert, ist nicht sichergestellt, dass 
der Klassifikator ohne erneutes Anlernen korrekte Ergebnisse liefert. Nach Inbetriebnahme 
eines Bildsensors in einem Kraftfahrzeug zur tJberwachung des Innenraumes mtissen 
entsprechend der beiden Vorgehensweisen entweder die Kalibrierparameter bekannt sein 
und/oder bestimmt werden oder es werden implizit die Eigenschaften der Messwerterfassung als 
bekannt und uber den Einsatzzeitraum als unveranderlich vorausgesetzt Diese Eigenschaften 
des wenigstens einen Bildsensors, dass eine explizit und/oder implizit bekannte geometrische 
Lagerelation zwischen den Messdaten und der tiberwachten Szene, insbesondere dem 
Innenraum des Kraftfahrzeuges, besteht, wird als geometrische Kalibrierung des wenigstens 
einen Bildsensors bezeichnet. 

Die nachfolgend beschriebene Vorrichtung und das Verfahren leisten eine automatische 
tJberwachung und Erkennung von Dekalibrierung, beispielsweise durch Dejustage und/oder 
Anderungen in der Messwerterfassung, des wenigstens einen Bildsensors. Daneben ermoglichen 
die Vorrichtung und das Verfahren die automatische Bestimmung und/oder NachfUhrung von 
wenigstens einem Kalibrierparameter des wenigstens einen Bildsensors wahrend des 
Sensorbetriebes. Ftir die automatische tJberwachung der Dekalibrierung und die Kalibrierung 
des wenigstens einen Bildsensors wird wenigstens ein spezielles signalisiertes Bezugsobjekt, 
das im bevorzugten Ausfuhrungsbeispiel im Innenraum eines Kraftfahrzeugs angebracht ist, 
und/oder wenigstens ein natlirlich vorkommendes Objekt der Szene, im bevorzugten 
Ausftihrungsbeispiel wenigstens ein bauartbedingt im Kraftfahrzeug vorhandenes Objekt, als 
Bezugsobjekt verwendet. Die Bezugsobjekte werden mit dem wenigstens einen Bildsensor 
beobachtet Ferner werden die zu den Bezugsobjekten zugehorigen Messdaten des wenigstens 
einen Bildsensors ausgewertet, indem die Messdaten mit den Solldaten verglichen werden. 
Anhand der Differenz zwischen Messdaten und Solldaten wird die Funktion des wenigstens 
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einen Bildsensors uberwacht und/oder der wenigstens eine Bildsensor nach Bestimmung 
wenigstens eines Kalibrierparameters kalibriert. 

Figur 1 zeigt eine tjbersichtszeichnung des bevorzugten Ausfllhrungsbeispiels zur Erlauterung 
der Verwendung des Bildsensors 12, der zur tTberwachung des Innenraumes 28 eines 
Kraftfahrzeuges eingesetzt wird. Der Bildsensor 12 ist so im Bereich der Windschutzscheibe 30 
und des Daches 36 des Kraftfahrzeuges angebracht, dass der Bilderfassungsbereich des 
Bildsensors 12 den Innenraum 28 des Kraftfahrzeuges erfasst. Dabei nimmt der Bildsensors 12 
den Sitz 38, beispielsweise den Beifahrersitz, und/oder die Kopfsttttze 40 auf. Ferner erfasst der 
Bildsensor 12 gegebenenfalls eine nicht eingezeichnete Person und/oder andere Gegenstande im 
Innenraum 28, insbesondere auf dem Sitz 38. Der Bildsensor 12 ist uber eine Signalleitung 26 
mit einer Verarbeitungseinheit 14 verbunden. In der Figur 1 ist die Lage 30 des Bildsensors 12 
in Bezug zum Bezugssystem 32 des Kraftfahrzeugs dargestellt. Ferner zeigt die Figur 1 ein 
Airbagmodul 50, das zum Schutz von Personen im Innenraum 28 bei einem Unfall des 
Kraftfahrzeuges eingesetzt wird. 

Figur 2 zeigt ein Blockdiagramm der Figur 1, bestehend aus der zu uberwachenden Szene 10, 
dem Bildsensor 12 und einer Verarbeitungseinheit 14. Die zu iiberwachende Szene 10 ist der 
Innenraum des Kraftfahrzeuges. Der Bildsensor 12 erzeugt aus der Lichtstrahlung 20 der zu 
Uberwachenden Szene 10 Bildsignale 22. Die Bildsignale 22 werden als Messdaten ttber die 
Signalleitung 26 nach Figur 1 zur Verarbeitungseinheit 14 tibertragen. In der 
Verarbeitungseinheit 14 wird zum einen das nachfolgend beschriebene Verfahren zur 
Bestimmung wenigstens eines Kalibrierparameters durchgefiihrt. Zum anderen findet in der 
Verarbeitungseinheit 14 die Verarbeitung der Bildsignale 22 des Bildsensors 12 statt, urn die 
tJberwachungsfunktion des Bildsensors 12 zu erfullen. Der Bildsensor 12 und die 
Verarbeitungseinheit 14 bilden das Messsystem 16. Im bevorzugten Ausfuhrungsbeispiel wird 
der Bildsensor 12 zur intelligenten Airbagsteuerung eingesetzt. Die Verarbeitungseinheit 14 
wertet die Bildsignale 22 aus, urn Signale des Messsystems 24 iiber eine Signalleitung an ein 
nachfolgendes System 18 zur Airbagsteuerung weiterzuleiten. Die Signale des Messsystems 24 
beinhalten Informationen zur Klassifikation der Sitzbelegung und/oder Daten iiber die Out-Of- 
Position Detektion von Personen auf den Sitzen des Kraftfahrzeuges. Die ttbertragung der 
Bildsignale 22 und/oder der Signale des Messsystems 24 auf den Signalleitungen erfolgt 
elektrisch und/oder optisch und/oder per Funk. In einer Variante des bevorzugten 
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Ausfuhrungsbeispiels ist der Bildsensor 12 und/oder die Verarbeitungseinheit 14 und/oder das 
nachfolgende System 18 in einer oder gegebenenfalls mehreren Einheiten realisiert. 

Figur 3 zeigt eine tJbersichtszeichnung des bevorzugten Ausfuhrungsbeispiels mit einer 
Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters des Bildsensors 12. Figur 3 
ist eine Erweiterung der Figur 1 . Im folgenden werden nur die zusatzlichen Teile der Figur 3 
erlautert. Im Innenraum 28 des Kraftfahrzeuges werden speziell signalisierte Objekte 42 so 
eingebracht, dass sie im Bilderfassungsbereich des Bildsensors sind. Signalisierte Objekte 42 
sind Objekte, die sich mit dem jeweiligen Sensorsystem, im bevorzugten Ausfuhrungsbeispiel 
dem Bildsensor 12, gut automatisch detektieren lassen. Im bevorzugten AusfUhrungsbeispiel 
werden Infrarot-Leuchtdioden (IR-Leuchtdioden) eingesetzt. Die Position der signalisierten 
Objekte 42 in den Messdaten (Bildsignale) des Bildsensors 12 (Videosensor) werden mit der 
Sollposition der signalisierten Objekte 42 in der Verarbeitungseinheit 14 verglichen. Bei 
Abweichungen wird eine Dekalibrierung erkannt. Ferner wird die Position der signalisierten 
Objekte 42 in den Sensormessdaten zur Nachfuhrung und/oder Bestimmung von wenigstens 
einem Kalibrierparameter eingesetzt. In einer Variante des bevorzugten Ausfuhrungsbeispiels 
werden als signalisierte Bezugsobjekte 42 Bezugsobjekte mit Oberflachen mit hoher 
Reflektivitat verwendet. Vorzugsweise werden signalisierte Bezugsobjekte 42 mit einer 
Reflektivitat zwischen 0,5 und 1,0 eingesetzt. Die Synonyme Reflektivitat, Ruckstrahlvermogen 
und Albedo geben den Anteil der auf eine Oberflache einfallenden Strahlung an, die 
zurtickgestrahlt wird. Der Wert der Reflektivitat kann Werte zwischen 0 bis 1 annehmen, wobei 
ein Wert von 1 bedeutet, dass 100% der einfallenden Strahlung zuriickgestrahlt wird. Zus&tzlich 
weisen die Bezugsobjekte gegebenenfalls eine geometrische Form auf. Als geometrische 
Formen werden beispielsweise wenigstens ein Punkt und/oder wenigstens ein Kreis und/oder 
wenigstens ein Dreieck und/oder wenigstens ein Viereck und/oder wenigstens ein Quadrat 
verwendet. Alternativ oder zusatzlich zu der geometrischen Form werden in weiteren Varianten 
als Bezugsobjekte wenigstens ein Buchstabe und/oder wenigstens ein Schriftzug und/oder 
wenigstens ein Logo verwendet. In einer weiteren Variante sind mehrere Bezugsobjekte 
alternativ oder zusatzlich zu einem 2D- oder 3D-Muster, beispielsweise wenigstens einem 
Kreuz und/oder wenigstens einem Kreis und/oder wenigstens einem Schriftzug, angeordnet. 
Ferner sind die Bezugsobjekte und/oder die Muster alternativ oder zusatzlich auf wenigstens 
einem fur die jeweilige Anwendung relevanten Objekt, beispielsweise der Airbag-Klappe 
und/oder dem eigentlichen Airbag und/oder dem Lenkrad, angebracht. Die Verarbeitungseinheit 
14 umfasst wenigstens einen Mikroprozessor und besteht aus mehreren in Figur 4 dargestellten 
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Modulen, die als Programme und/oder Programmschritte des wenigstens einen Mikroprozessors 
ausgestaltet sind. 

Figur 4 zeigt ein Ablaufdiagramm des Verfahrens des bevorzugten Ausfuhrungsbeispiels zur 
automatischen Kontrolle und/oder Nachfuhrung und/oder Bestimmung wenigstens eines 
Kalibrierparameters der geometrischen Kalibrierung des wenigstens einen Bildsensors. Das 
Verfahren setzt Modellwissen 60 iiber die geometrische Lage von Bezugsobjekten im 
Innenraum des Kraftfahrzeuges und/oder ttber die Sollwerte 64 der Messdaten des wenigstens 
einen Bildsensors der Bezugsobjekte des Innenraumes des Kraftfahrzeuges voraus. Wahrend 
des Einsatzes (Betrieb) werden die zu den bekannten Bezugsobjekten zugehorigen 
Sensormessdaten in Form von Bildsignalen 22 durch den Bildsensor 12 detektiert. Die 
Sensormessdaten (Bildsignale 22) der Bezugsobjekte werden mit den Solldaten 64 im Modul 
zur Differenzbildung 66 verglichen und hieraus im Modul zur Bestimmung der Kalibrierdaten 
68 eine Dekalibrierung des Bildsensors erkannt und/oder es werden aus den Sensormessdaten 
(Bildsignale 22) der Bezugsobjekte wenigstens ein Kalibrierparameter iiber ein mathematisches 
Modeil der Bildsensorabbildung bestimmt. Im Kraftfahrzeug-Innenraum sei ein euklidisches 
Koordinatensystem (Fahrzeugkoordinatensystem) definiert. Es gibt im Fahrzeug-Innenraum 
punktfdrmige Bezugsobjekte P f (i=l..N) mit bekannten 3D-Koordinaten (xi, yi, zi). Weiterhin 
ist die Solllage eines Bildsensors im 3D-Fahrzeugkoordinatensystem (extrinsische 
Kalibrierparameter) gegeben. Die Solllage besteht aus 6 Parameters der Position des 
Projektionszentrums des Bildsensors im Kraftahrzeug: (tx, ty, tz) und der Rotation zwischen 
Kraftfahrzeug und Bildsensor, die mit den Drehwinkeln a, \\t 9 y, angegeben wird. Aus den 
Drehwinkeln ergibt sich die Rotationsmatrix 

cosyxosy cos^sin/ -siny > 



R = 



'12 '1 
r 32 r 33^ 



(1) 



sin a sin y/ cos y - cos a sin y sin a sin y/ sin y + cos a cos y s in a cos y/ 
^cosasin^cos^+sinasin^ cos a sin \y sin y- sin a cos y cosacos^ 

Weiterhin sind die intrinsische Kalibrierparameter, die Kammerkonstanten Cx, Cy und die 
Koordinaten des Bildhauptpunktes xh, yH bekannt. Die Projektion der 3D-Koordinaten (xi, y b Zi) 
der Punktobjekte in das Bild, in die Bildkoordinaten (x'i, y^) lasst sich mathematisch 
beschreiben mit: 

X/ *r 31 (x l -O + r n0'#-^) + r 33(*i-O *' (2) 
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Ergebnis sind Sollkoordinaten x* s j, y c S i der punktformigen Bezugsobjekte im Bild. Die Messung 
der punktformigen Bezugsobjekte im Bild liefert die Bildkoordinaten x'mf, Y'mi.- Die Distanz 
zwischen Solllage und Istlage 

= t](x' si - X ' mi > 2 + o> ) 2 (3) 

wird fur die Erkennung der Dekalibrierung des Sensorsystems verwendet. Wenn Distanzen iiber 
einer vorgegebenen Schwelle liegen (dMsP^MSmax) dann liegt eine Dekalibrierung des 
Bildsensors vor. Fiir eine Korrektur der extrinsischen Kalibrierparameter (a, y, tx, ty, tz) des 
Bildsensors werden die Parameter (a, \|/, y, tx, ty, tz) variiert, so dass die Fehlerquadratsumme 
zwischen gemessenen Bildkoordinaten und projizierten Bildkoordinaten minimal wird: 

\a 9 \i/ 9 Y>t x9 t y9 t z9 x l9 y i9 z$f + {y\-y\a 9 \if 9 y 9 t x9 t y9 t z9 x i9 y i9 zSf -> min (4) 

Die Bildkoordinaten x c (a, \|/, y, tx, ty, tz) bzw. y € (a, \|/, y, tx, ty, tz) ergeben sich aus der obigen 
Projektionsvorschrift (2). 

Figur 5 zeigt eine Cbersichtszeichnung eines weiteren Ausfuhrungsbeispiels mit einer 
Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters des Bildsensors 12. Figur 5 
ist eine Erweiterung der Figur 1 . Im folgenden werden nur die zusatzlichen Teile der Figur 5 
erlautert Zum Zweck der Uberwachung einer Dekalibrierung und/oder zur Bestimmung 
wenigstens eines Kalibrierparameters der geometrischen Kalibrierung werden in diesem 
Ausfuhrungsbeispiel die Lage von bauartbedingt im Kraflfahrzeug vorhandenen Objekten in 
den Sensormessdaten ttberwacht und verfolgt. Die bauartbedingt im Kraftfahrzeug vorhandenen 
Objekte, wie der Ttirholm 44 und/oder der Himmel des Fahrzeugdaches 46 und/oder die 
Armatur 48, werden als Bezugsobjekte verwendet, wobei deren Lage in Abhangigkeit der 
Bildsignale des Bildsensors 12 vermessen und kontrolliert wird. Die Verarbeitungseinheit 14 
umfasst wie im bevorzugten Ausfuhrungsbeispiel nach Figur 3 wenigstens einen 
Mikroprozessor und besteht aus mehreren in Figur 4 dargestellten Modulen, die als Programme 
und/oder Programmschritte des wenigstens einen Mikroprozessors ausgestaltet sind. In einer 
weiteren Ausfuhrungsform werden als Bezugsobjekte sowohl wenigstens ein zur Bestimmung 
des wenigstens einen Kalibrierparameters in der Szene angebrachtes Bezugsobjekt (ein 
signalisierendes Bezugsobjekt) und wenigstens ein nattlrlich vorkommendes Objekt der Szene, 
also ein bauartbedingt im Innenraum des Kraftfahrzeuges befindliches Objekt, verwendet. 
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Die beschriebene Vorrichtung und das Verfahren zur Bestimmung wenigstens eines 
Kalibrierparameters wenigstens eines Bildsensors, sind nicht avif den Einsatz in der 
Kraftfahrzeugtechnik beschrankt. Vielmehr lasst sich die beschriebene Vorgehensweise mit den 
entsprechenden Merkmalen auch aufierhalb der Kraftfahrzeugtechnik einsetzen. Voraussetzung 
ist lediglich, dass wenigstens ein Bildsensor derart konfiguriert ist, dass der wenigstens eine 
Bildsensor zur tJberwachung einer in Teilen gleichbleibenden Szene geeignet ist. Eine in Teilen 
gleichbleibende Szene zeichnet sich dadurch aus, dass die Teile der Szene zeitlich 
unveranderlich sind. Solche Szenen treten beispielsweise in der tJberwachungstechnik und der 
Sicherheitstechnik auf. Bei der tJberwachung von Flughafen, Bahnhofen oder StraBen ist die 
Szene ebenfalls in Teilen gleichbleibend. Ein anderer Anwendungsfall ist die tJberwachung 
eines Raumes, beispielsweise eines Tresorraumes einer Bank, mit wenigstens einem Bildsensor. 
Auch diese Szenen sind in Teilen gleichbleibend. Ferner lasst sich das Verfahren bei wenigstens 
einem Bildsensor verwenden, der zur tJberwachung der Umgebung eines Kraftfahrzeuges 
eingesetzt wird. Voraussetzung ist auch hier, dass Teile der Szene zeitlich unveranderlich sind. 
Zeitlich unveranderliche Teile liegen dann vor, wenn Bestandteile des Kraftfahrzeuges, 
beispielsweise die Motorhaube und/oder die StoBstange, im Bilderfassungsbereich des 
wenigstens einen Bildsensors liegen. 

In einer Variante der beschriebenen Vorrichtung und des Verfahrens ist wenigstens ein 
Bezugsobjekt auf wenigstens einem bezttglich der tJberwachungsfunktion des wenigstens einen 
Bildsensors relevanten Objekt der Szene angebracht. Relevante Objekte zeichnen sich dadurch 
aus, dass sie entweder direkt das Objekt der Uberwachungsfunktion des wenigstens einen 
Bildsensors 12 sind oder alternativ oder zusatzlich indirekt fiinktional mit der 
Oberwachungsfunktion des Bildsensors verbunden sind. Im Bereich der Kraftfahrzeugtechnik 
sind die Airbagklappe ein Beispiel fiir ein relevantes Objekt, das indirekt fiinktional mit der 
tJberwachungsfunktion des Bildsensors verbunden ist. Obwohl der Bildsensor primar zur 
tJberwachung der Belegungssituation der Sitze verwendet wird, ist die tJberwachungsfunktion 
fiinktional liber die Airbagsteuerung mit der Airbag-Klappe verbunden. Im Bereich der 
Sicherheitstechnik, beispielsweise bei der tJberwachung eines Tresorraumes einer Bank, ist der 
Tresor der Bank direkt das relevante Objekt der tJberwachungsfunktion des wenigstens einen 
Bildsensors. 

Die vorstehend beschriebene Vorrichtung und das Verfahren werden in weiteren Varianten bei 
wenigstens einem oder mehr als einem Bildsensor angewendet. Als Bildsensoren wird 



WO 2004/094196 



- 12 - 



PCT/DE2004/000305 



wenigstens ein monokularer Bildsensor und/oder wenigstens eine Stereokamera und/oder 
wenigstens ein tiefenbildgebender Bildsensor verwendet. Stereokameras bestehen aus 
wenigstens zwei Bildsensoren, die im wesentlichen dieselbe Szene aufhehmen. 
Tiefenbildgebende Bildsensoren sind Entfernungsbild-Sensor, beispielsweise Time-of-Flight 
optische Sensoren (range video camera). 
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Patentanspriiche 

1 . Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines 
Bildsensors, 

wobei der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene, 
insbesondere den Innenraumes eines Kraftfahrzeuges, uberwacht, 
wobei wenigstens eine Verarbeitungseinheit in Abhangigkeit von Bildsignalen eine 
Dekalibrierung des wenigstens einen Bildsensors im Betrieb des wenigstens einen 
Bildsensors erkennt, 

wobei die wenigstens eine Verarbeitungseinheit bei einer erkannten Dekalibrierung die 
Dekalibrierung einem nachfolgenden System und/oder dem Fahrer meldet, und/oder den 
wenigstens einen Kalibrierparameter in Abhangigkeit von den Bildsignalen bestimmt, 
wobei der wenigstens eine Bildsensor die Bildsignale zumindest von wenigstens einem 
invarianten Muster im Bilderfassungsbereich des wenigstens einen Bildsensors ableitet 

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das wenigstens eine invariante 
Muster durch wenigstens ein zur Besthnmung des wenigstens einen Kalibrierparameters in 
der Szene angebrachtes Bezugsobjekt gebildet wird. 

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, dass das wenigstens eine 
Bezugsobjekt ein Leuchtmittel ist, insbesondere dass das wenigstens eine Bezugsobjekt eine 
Infrarot-Leuchtdiode ist, und/oder dass das wenigstens eine Bezugsobjekt derart gestaltet 
ist, dass es eine hohe Reflektivitat aufweist, insbesondere, dass es eine Reflektivitat 
zwischen 0,5 und 1,0 aufweist. 
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4. Vorrichtung nach einem der AnsprUche 2 bis 3, dadurch gekennzeichnet, dass das 
wenigstens eine Bezugsobjekt eine geometrische Form hat, beispielsweise ein Punkt 
und/oder ein Kreis und/oder ein Dreieck und/oder ein Viereck und/oder ein Quadrat, 
und/oder dass das wenigstens eine Bezugsobjekt wenigstens ein Buchstabe und/oder 
wenigstens ein Schriftzug und/oder wenigstens ein Logo ist. 

5. Vorrichtung nach einem der Anspruche 2 bis 4, dadurch gekennzeichnet, dass das 
wenigstens eine Bezugsobjekt auf wenigstens einem beztiglich der tJberwachungsfunktion 
des wenigstens einen Bildsensors relevanten Objekt der Szene angebracht ist, insbesondere, 
dass das wenigstens eine Bezugsobjekt auf wenigstens einer Airbag-Klappe und/oder 
wenigstens einem Airbag und/oder wenigstens einem Lenkrad im Innenraum des 
Kraftfahrzeuges angebracht ist. 

6. Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass das 
wenigstens eine invariante Muster durch wenigstens ein naturlich vorkommendes Objekt 
der Szene gebildet wird, insbesondere, dass das wenigstens eine invariante Muster durch 
wenigstens ein bauartbedingt im Innenraum eines Kraftfahrzeug befindliches Objekt 
gebildet wird. 

7. Verfahren zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines 
Bildsensors, 

wobei der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene, 
insbesondere den Innenraumes eines Kraftfahrzeuges, iiberwacht, 
wobei eine Dekalibrierung des wenigstens einen Bildsensors wahrend des Betriebes des 
wenigstens einen Bildsensors in Abhangigkeit von Bildsignalen erkannt wird, 
wobei bei einer erkannten Dekalibrierung die Dekalibrierung einem nachfolgenden 
System und/oder dem Fahrer gemeldet wird, und/oder der wenigstens eine 
Kalibrierparameter in Abhangigkeit von den Bildsignalen bestimmt wird, 
wobei die Bildsignale zumindest von wenigstens einem invarianten Muster im 
Bilderfassungsbereich des wenigstens einen Bildsensors von dem wenigstens einen 
Bildsensor abgeleitet werden. 



8. 



Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Bildsignale zumindest von 
wenigstens einem zur Bestimmung des wenigstens einen Kalibrierparameters in der Szene 
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angebrachten Bezugsobjekt und/oder zumindest wenigstens einem naturlich vorkommenden 
Objektes der Szene abgeleitet werden, wobei das wenigstens eine Bezugsobjekt 
insbesondere ein Leuchtmittel ist und/oder das wenigstens eine Bezugsobjekt eine hohe 
Reflektivitat aufweist. 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Bildsignale von zumindest 
wenigstens einem Bezugsobjektes abgeleitet werden, wobei das wenigstens eine 
Bezugsobjekt auf einem bezuglich der Oberwachungsfunktion des wenigstens einen 
Bildsensors relevanten Objekt der Szene angebracht ist, insbesondere, dass das wenigstens 
eine Bezugsobjekt auf wenigstens einer Airbag-Klappe und/oder wenigstens einem Airbag 
und/oder wenigstens einem Lenkrad im Innenraum des Kraftfahrzeuges angebracht ist. 

10. Computerprogramm mit Programmcode-Mitteln, urn alle Schritte von jedem beliebigen der 
Anspriiche 7 bis 9 durchzufuhren, wenn das Programm auf einem Computer ausgeftihrt 
wird. 
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